A Dataset for Greek Traditional and Folk Music: Lyra

Studying under-represented music traditions under the MIR scope is crucial, not only for developing novel analysis tools, but also for unveiling musical functions that might prove useful in studying world musics. This paper presents a dataset for Greek Traditional and Folk music that includes 1570 pieces, summing in around 80 hours of data. The dataset incorporates YouTube timestamped links for retrieving audio and video, along with rich metadata information with regards to instrumentation, geography and genre, among others. The content has been collected from a Greek documentary series that is available online, where academics present music traditions of Greece with live music and dance performance during the show, along with discussions about social, cultural and musicological aspects of the presented music. Therefore, this procedure has resulted in a significant wealth of descriptions regarding a variety of aspects, such as musical genre, places of origin and musical instruments. In addition, the audio recordings were performed under strict production-level specifications, in terms of recording equipment, leading to very clean and homogeneous audio content. In this work, apart from presenting the dataset in detail, we propose a baseline deep-learning classification approach to recognize the involved musicological attributes. The dataset, the baseline classification methods and the models are provided in public repositories. Future directions for further refining the dataset are also discussed

An Argument based Creative Assistant for Harmonic Blending

Conceptual blending is a powerful tool for computational creativity where, for example, the properties of two harmonic spaces may be combined in a consistent manner to produce a novel harmonic space. However, deciding about the importance of property features in the input spaces and evaluating the results of conceptual blending is a nontrivial task. In the specific case of musical harmony, defining the salient features of chord transitions and evaluating invented harmonic spaces requires deep musicological background knowledge. In this paper, we propose a creative tool that helps musicologists to evaluate and to enhance harmonic innovation. This tool allows a music expert to specify arguments over given transition properties. These arguments are then considered by the system when defining combinations of features in an idiom-blending process. A music expert can assess whether the new harmonic idiom makes musicological sense and re-adjust the arguments (selection of features) to explore alternative blends that can potentially produce better harmonic spaces. We conclude with a discussion of future work that would further automate the harmonisation process.Comment: 8 pp; submitted to 7th International Conference on Computational Creativit

Innovative Applications of Natural Language Processing and Digital Media in Theatre and Performing Arts

The objective of our research is to investigate new digital techniques and tools, offering the audience innovative, attractive, enhanced and accessible experiences. The project focuses on performing arts, particularly theatre, aiming at designing, implementing, experimenting and evaluating technologies and tools that expand the semiotic code of a performance by offering new opportunities and aesthetic means in stage art and by introducing parallel accessible narrative flows. In our novel paradigm, modern technologies emphasize the stage elements providing a multilevel, intense and immersive theatrical experience. Moreover, lighting, video projections, audio clips and digital characters are incorporated, bringing unique aesthetic features. We also attempt to remove sensory and language barriers faced by some audiences. Accessibility features consist of subtitles, sign language and audio description. The project emphasises on natural language processing technologies, embedded communication and multimodal interaction to monitor automatically the time flow of a performance. Based on this, pre-designed and directed stage elements are being mapped to appropriate parts of the script and activated automatically by using the virtual "world" and appropriate sensors, while accessibility flows are dynamically synchronized with the stage action. The tools above are currently adapted within two experimental theatrical plays for validation purposes. This work is licensed under a Creative Commons Attribution-NonCommercial 4.0 International License.</p

Probabilistic Harmonization With Fixed Intermediate Chord Constraints

(Abstract to follow

Computational intelligence methods for automated musical analysis and synthesis

The PhD thesis at hand discusses the employment of computational intelligence in music, attempting to humbly commit a minimal contribution to the deep history of studies that relate music to mathematics. The three cornerstones upon which the thesis at hand is founded, discuss the employment of computational intelligence methods for a) the examination of musical-mathematical features towards classifying, identifying and characterising music content, b) intelligent music composition based on musical-mathematical features and c) interactive intelligent music composition and further developments. While at a first glance these three parts seem unrelated, their common keystone is the music-mathematical features and the role that these features play towards developing computational intelligence models which at some extent simulate the human ``perception’’ of music. The fact that all the research channels that are presented in this thesis, are finally led to a single stream, becomes evident in the final chapter of the thesis (Chapter 9) where the music-mathematical features, the intelligent music composition and the interactive music composition are embodied in an innovative system that is thoroughly described. Additionally, a main concern of the studies that comprise this thesis was the presentation of objective, detailed and unbiased results, achieved through exhaustive experimental processes, many of which were by themselves innovative. The latter comment intents to highlight the different approach that the research in this thesis follows, in comparison to the most common approaches concerning the presentation of experimental results for automatic music composition methods - which simply include small score or audio parts of automatically composed music.The first part of the thesis includes the Chapters 2 and 3, where the categorisation of music pieces in symbolic form is examined, as well as the identification and characterisation of music recordings. Aim of this part is on the hand to present the rich quality of information that can be extracted by several pitch class space-related features regarding human perception of music, while on the other hand to pinpoint the effectiveness of computational intelligence methods as tools to extract the aforementioned rich information. The first part’s contribution is primarily the presentation of novel methodologies that achieve effective categorisation of music pieces per composer or style, identify the content of drums recordings and characterise the content of recorded pieces by recognising locations of composition key changes. An additionally contribution of this part is the presentation and study of the principal chroma eigenspace.The second part encompasses Chapters 4, 5, 6 and 7, which discuss the contribution of this thesis in intelligent music composition. Specifically, the contribution of Chapter 4 includes a proposed categorisation of intelligent music composition methods based on their intended result, proposing their segregation to unsupervised, supervised and interactive intelligent music composition methodologies. Through this categorisation, an introduction to the subsequent chapters is achieved, which mainly discuss supervised intelligent music composition based on music-mathematical features for the generation of rhythmic sequences (Chapter 5), tonal sequences (Chapter 6), as well as integrated synthesis through the concept of horizontal orchestration replication and intelligent improviser accompaniment (Chapter 7). The results of the presented studies in this part constitute of exhausted research processes that examine different compositional aspects of the proposed methodologies, revealing their strengths and weaknesses over other methodologies presented in the literature.In the third part the interactive systems that were studied in the thesis are presented, not only by analysing the algorithmic development of the underlying methodologies, but mostly focussing on matters that pertain to the human perception and intelligent music composition. Specifically, in the beginning of Chapter 8 an innovative system is presented that evolves mathematical functions interactively (through user ratings), through genetic programming. Aim of this system is the generation and evolution of waveforms that sound more pleasant to the user, according to hers/his subjective criteria. This system allowed the proposition to obtain information about several audio features of the melodies in different evolutionary stages - from non evolved and low rated melodies to evolved and highly rated ones - in order to study whether these features incorporate indications about the aesthetic integrity of a melody. This system was also utilised towards the development of fitness-adaptive genetic operators, which, combined with the ``risk factor’’ parameter, gave the user additional control over the evolutionary process, alleviating user fatigue at a considerable extent. The third part, along with the research conducted in the context of this thesis, concludes with Chapter 9, where an interactive evolutionary intelligent music composition system is presented, that combines almost all research presented in the thesis up to that point. This chapter includes also several innovative research propositions in many levels: the core concept, the implementation and the experimental process. The core concept discusses the evolution of music-mathematical features that describe a melody, rather than evolving the melody per se (or the model that generates it). The implementation incorporated two levels of serial evolution: the upper level of feature evolution and the lower level of supervised intelligent music composition, with novel algorithms in both levels. Finally, the experimental process that was developed - in the context of which the utilisation of automatic raters that simulate human behaviour was proposed - allowed a completely subjective evaluation of the systems capabilities, regarding its convergence to the optimal melodies of the user’s subjective preference.Η παρούσα διδακτορική διατριβή ασχολείται με την εφαρμογή της υπολογιστικής νοημοσύνης στη μουσική, επιχειρώντας ταπεινά να συνεισφέρει, έστω και κατ' ελάχιστο, στην μακραίωνη πορεία της σύζευξης των μουσικών εννοιών με τα μαθηματικά. Οι τρεις πυλώνες πάνω στους οποίους στηρίζεται αυτή η διατριβή αφορούν τη χρήση μεθόδων υπολογιστικής νοημοσύνης για α) την εξέταση των μαθηματικών μουσικών χαρακτηριστικών με στόχο την επιτυχή κατηγοριοποίηση, αναγνώριση και χαρακτηρισμό περιεχομένου σε μουσικά κομμάτια, β) την ευφυή αυτόματη σύνθεση μουσικής βάσει μαθηματικών μουσικών χαρακτηριστικών και γ) τη διαδραστική ευφυή σύνθεση μουσικής και τις επεκτάσεις της. Ενώ οι τρεις αυτοί πυλώνες φαίνονται επιφανειακά ασύνδετοι, το κοινό τους θεμέλιο είναι τα μαθηματικά μουσικά χαρακτηριστικά και ο ρόλος που αυτά διαδραματίζουν έτσι ώστε να αναπτυχθούν μοντέλα υπολογιστικής νοημοσύνης που τελικά προσομοιάζουν τον τρόπο που οι άνθρωποι ``αντιλαμβάνονται'' τη μουσική. Το γεγονός ότι όλοι οι δίαυλοι έρευνας που παρουσιάζονται σε αυτή τη διατριβή διοχετεύονται στο ίδιο κανάλι, γίνεται φανερό στο τελευταίο κεφάλαιο (Κεφάλαιο 9) όπου τα μαθηματικά μουσικά χαρακτηριστικά, η ευφυής σύνθεση μουσικής και η διαδραστική ευφυής σύνθεση μουσικής, ενσωματώνονται σε ένα καινοτόμο σύστημα που περιγράφεται λεπτομερώς στο εν λόγω κεφάλαιο. Επίσης, βασική μέριμνα των μελετών που παρουσιάζονται στης έρευνες που αποτελούν την παρούσα διατριβή ήταν η απόδοση αντικειμενικών, λεπτομερών και αμερόληπτων αποτελεσμάτων, μέσα από εξαντλητικές πειραματικές διαδικασίες, πολλές από τις οποίες περιείχαν και καθεαυτές νεοτερισμούς. Η επισήμανση της παραπάνω πρότασης θέλει να καταδείξει τη διαφοροποίηση της παρούσας διατριβής από την εν πολλοίς καθεστηκυία αντίληψη για τον τρόπο παρουσίασης των αποτελεσμάτων για τις μεθόδους αυτόματης σύνθεσης μουσικής, μέσα από την εμφάνιση τμημάτων από συνθέσεις (σε μορφή παρτιτούρας ή ήχου).Το πρώτο μέρος της διατριβής περιλαμβάνει τα Κεφάλαια 2 και 3, όπου μελετάται η κατηγοριοποίηση μουσικών κομματιών σε συμβολική μορφή, καθώς και η αναγνώριση και ο χαρακτηρισμός περιεχομένου από ηχογραφήσεις. Στόχος του μέρους αυτού είναι η παρουσίαση της καθοριστικότητας αφενός του χώρου του προφίλ τονικής τάξης για την ανάπτυξη μαθηματικών μουσικών χαρακτηριστικών που ενσωματώνουν την ανθρώπινη μουσική αντίληψη μέχρι ενός βαθμού, και αφετέρου η ανάδειξη της αποτελεσματικότητας των μεθόδων υπολογιστικής νοημοσύνης ως εργαλεία αποτελεσματικού εντοπισμού αυτής της ιδιότητας των προαναφερθέντων χαρακτηριστικών. Η συνεισφορά του πρώτου μέρους αφορά κυρίως την πρόταση νέων μεθοδολογιών που επιτελούν αποτελεσματικά προσομοιώσεις κατηγοριοποίησης κομματιών ανά συνθέτη ή είδος, αναγνώρισης περιεχομένου ηχογράφησης τυμπάνων και χαρακτηρισμού μουσικού ηχητικού υλικού με τμηματοποίηση σε περιοχές με διαφορετικό κλειδί σύνθεσης. Επίσης, στη συνεισφορά του μέρους αυτού μπορεί να ενταχθεί και η εισαγωγή και ανάλυση του πρωτεύοντος χρωματικού ιδιοχώρου.Το δεύτερο μέρος περιλαμβάνει τα Κεφάλαια 4, 5, 6 και 7, στα οποία αναλύεται η συνεισφορά της διατριβής στον τομέα της ευφυούς αυτόματης σύνθεσης μουσικής. Συγκεκριμένα, η συνεισφορά του Κεφαλαίου 4 είναι η πρόταση μιας κατηγοριοποίησης των ευφυών μεθόδων σύνθεσης σύμφωνα με το αποτέλεσμα που επιδιώκουν, προτείνοντας δηλαδή τις κατηγορίες των μη επιβλεπόμενων, των επιβλεπόμενων και των διαδραστικών συστημάτων ευφυούς σύνθεσης. Με αυτή την κατηγοριοποίηση ο αναγνώστης εισάγεται στα επόμενα κεφάλαια όπου περιγράφονται τα καινοτόμα συστήματα που προτάθηκαν, κυρίως για επιβλεπόμενη σύνθεση βάσει χαρακτηριστικών, για την ευφυή παραγωγή ρυθμών (Κεφάλαιο 5), τόνων (Κεφάλαιο 6), καθώς και για την ολοκλήρωση των συνθέσεων μέσω της έννοιας της οριζόντιας αντιγραφής ενορχήστρωσης και την ευφυή συνοδεία αυτοσχεδιαστή (Κεφάλαιο 7). Τα αποτελέσματα που παρέχονται για όλα τα συστήματα αυτού του μέρους εξετάζουν ενδελεχώς πολλές πτυχές των συνθετικών τους ιδιοτήτων, αποκαλύπτοντας τα σημεία υπεροχής τους αλλά και τις αδυναμίες τους.Στο τρίτο μέρος γίνεται η περιγραφή των διαδραστικών συστημάτων που μελετήθηκαν στη διατριβή, αναλύοντας όχι μόνο την ανάπτυξη των αλγόριθμων πίσω από τα συστήματα αυτά, αλλά εστιάζοντας κυρίως στα ουσιώδη ζητήματα που άπτονται της αντίληψης της ανθρώπινης μουσικής και της σύνδεσής της με την ευφυή--αυτόματη σύνθεση. Συγκεκριμένα, στο Κεφάλαιο 8 γίνεται αρχικά η παρουσίαση ενός καινοτόμου υπολογιστικού συστήματος που εξελίσσει διαδραστικά (με βαθμολογίες παρεχόμενες από τον χρήστη) συναρτήσεις με τη μέθοδο του γενετικού προγραμματισμού. Σκοπός του συστήματος αυτού είναι η παραγωγή κυματομορφών που ακούγονται γενιά με τη γενιά όλο και πιο ευχάριστες για την προσωπική του αισθητική του χρήστη. Μέσω αυτού του συστήματος προτάθηκε το ενδεχόμενο της άντλησης πληροφοριών για τα ηχητικά χαρακτηριστικά των μελωδιών σε διαφορετικά εξελικτικά στάδια -- από τις μη εξελιγμένες και χαμηλά βαθμολογημένες στις εξελιγμένες και υψηλά βαθμολογημένες μελωδίες -- έτσι ώστε να μελετηθεί το κατά πόσο τα ηχητικά χαρακτηριστικά αυτά μπορεί να παρέχουν ενδείξεις για την αισθητική αρτιότητα μιας μελωδίας. Αυτό το σύστημα επίσης αξιοποιήθηκε για την ανάπτυξη των γενετικών τελεστών προσαρμοσμένου βάθους, οι οποίοι, συνδυαζόμενοι με την παράμετρο ``παράγοντα ρίσκου'', δίνουν στον χρήστη έναν επιπλέον έλεγχο στην εξελικτική διαδικασία, απαλλάσσοντάς τον από ένα μέρος του φαινομένου της κόπωσης του χρήστη.Το τρίτο μέρος, και η ερευνητική διαδρομή αυτής της διατριβής, κλείνει με το Κεφάλαιο 9, όπου παρουσιάζεται ένα διαδραστικό σύστημα εξελικτικής σύνθεσης μουσικής σε δύο επίπεδα, το οποίο πέρα από το ότι συνδυάζει την έρευνα που έγινε σχεδόν σε ολόκληρη τη διατριβή, περιέχει επίσης νεοτερισμούς σε πολλά επίπεδα: από την κεντρική σύλληψη, την υλοποίηση, ως και τη διαδικασία εξαγωγής αποτελεσμάτων. Η κεντρική σύλληψη αφορά την εξέλιξη των μαθηματικών μουσικών χαρακτηριστικών που περιγράφουν μια μελωδία αντί για τη μελωδία καθεαυτή (ή το μοντέλο που την παράγει). Η υλοποίηση έγινε σε δύο επίπεδα, τον πάνω επίπεδο εξέλιξης χαρακτηριστικών και το κάτω επίπεδο ευφυούς επιβλεπόμενης σύνθεσης μουσικής με καινοτόμους αλγόριθμους και στα δύο επίπεδα. Τέλος, η πειραματική διαδικασία που ακολουθήθηκε, στην οποία προτάθηκε και υλοποιήθηκε η χρήση αυτόματων βαθμολογητών που προσομοιάζουν τη βαθμολογική συμπεριφορά των ανθρώπων, επέτρεψε την πλήρως αντικειμενική εξέταση των δυνατοτήτων του συστήματος να συγκλίνει στις βέλτιστες μελωδίες του χρήστη

Learning and Creating Novel Harmonies in Diverse Musical Idioms: An Adaptive Modular Melodic Harmonisation System

Melodic harmonisation is a sophisticated creative process that involves deep musical understanding and a specialised knowledge of music relating to melodic structure, harmony, rhythm, texture, and form. In this article a new melodic harmonisation assistant is presented that is adaptive (learns from data), general (can cope with any tonal or non-tonal harmonic idiom) and modular (learns different aspects of harmonic structure such as chord types, chord transitions, cadences, and voice-leading). This melodic harmonisation system can be used not only to mimic given harmonic styles, but to generate novel harmonisations for diverse melodies and create new harmonic spaces, allowing for the imposition of user-defined chord constraints, leading to new unforeseen harmonic realisations. The various components of the proposed model are explained, then, a number of creative harmonisations of different melodies are presented to illustrate the potential of the system

On the Impact of The Semantic Content of Sound Events in Emotion Elicitation

Sound events are known to have an influence on the listener’s emotions, but the reason for this influence is less clear. Take for example the sound produced by a gun firing. Does the emotional impact arise from the fact that the listener recognizes that a gun produced the sound (semantic content) or does it arise from the attributes of the sound created by the firing gun? This research explores the relation between the semantic similarity of the sound events and the elicited emotions. Results indicate that the semantic content seems to have a limited role in the conformation of the listener’s affective states. However, when the semantic content is matched to specific areas in the Arousal-Valence space or when the source’s spatial position is considered, the effect of the semantic content is higher, especially for the cases of medium to low valence and medium to high arousal or when the sound source is at the lateral positions of the listener’s head.publishedVersionPeer reviewe